Nombre de visites
Variable aléatoire donnant le nombre de fois que la chaîne de Markov passe par un certain état au cours du temps. $$V_i:=\sum^{+\infty}_{n=0}\Bbb 1_{\{X_n=i\} }$$
- \(i\) est dit récurrent si \({\Bbb P}_i(V_i=+\infty)=1\)
- \(i\) est dit transitoire si \({\Bbb P}_i(V_i=+\infty)=0\)
Lemme de Borel-Cantelli
